On introduit une famille de poids \((q_i)_i\) telle que \(q_i\) est égale au quotient de \(2^{-l_i}\) par la borne de l'Inégalité de Kraft \(\to\) ces poids sont de somme \(1\), ce qui fait que \((q_i)_i\) forme une loi de probabilité.

Ecrire la Divergence de Kullback-Leibler entre \((p_i)_i\) et \((q_i)_i\) et simplifier en explosant le \(\log\).

On a alors la majoration par Inégalité de Gibbs.

On a l'égalité si et seulement si \(p=q\), ce qui donne le résultat recherché.

On prend comme longueur la partie entière supérieur du \(\log_2\) des probabilités.

En sommant, l'Inégalité de Kraft nous donne l'existence du code instantané.

Finalement, en prenant la définition de la partie entière supérieure et en retrouvant la définition de \(\overline{L_c}\), on montre l'inégalité voulue.